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融合 元 数据 及 Attention 机 制 的 深度 联合 学 习 推荐 
张 全 贵 ， 李 志 3 p H» 张 新 新 ， B 志 强 


(辽宁 工程 技术 大 学 电子 与 信息 工程 学 院 , 辽宁 葫芦 岛 125105) 


摘 要 : 融合 元 数据 的 协同 过 滤 推 荐 即 混合 推荐 算法 是 目前 推荐 系统 领域 研究 的 热点 ， 能 一 定 程 度 地 解决 数据 稀 跳 

冷 启 动 等 问题 。 但 融合 元 数据 现 有 的 建 模 方法 大 多 数 建 立 于 用 户 / 项 目 属 性 权重 相同 的 情景 下 ， 以 致 于 用 户 项 目 间 重点 
关系 表达 不 显著 ， 难 以 获得 较 好 的 推荐 性 能 。 针 对 上 述 问 题 ， 提 出 一 种 融合 元 数据 及 Attention 机 制 的 深度 联合 学 习 推 
荐 方法 。 它 利用 双 深 度 网 络 联合 学 习 , 其 中 一 个 网 络 基 于 隐 反 馈 数据 实现 敌阵 非 线性 分 解 以 学 习 用 户 /项 目 个 性 化 关系 ， 
另 一 个 利用 Attention 机 制 自动 捕捉 用 户 /项 目 关键 属性 对 推荐 工作 的 影响 ， 通 过 赋予 不 同属 性 权重 凸显 的 用 户 偏 好 关 
系 建 模 辅 以 扩展 模型 。 实 验 结果 表明 ， 所 提出 的 推荐 算法 在 MovieLens 100K 和 MovieLens IM 两 个 公开 数据 集 上 均 表 
现 出 较为 优越 的 推荐 性 能 。 
关键 词 : 元 数据 ; 属性 权重 ; Attention 机 制 ; 深度 联合 学 习 ; 非 线性 分 解 
中 图 分 类 号 : TP182 doi: 10.3969/j.issn.1001-3695.2018.04.0285 


Deep Joint learning recommendation based on metadata and Attention mechanism 


Zhang Quangui, Li Zhiqiang, Zhang Xinxin, Cao Zhiqiang 
(School Electronics & Information Engineering Liaoning Technical University, Huludao Liaoning 125105, China) 


Abstract: Collaborative filtering recommendation, which combines metadata, is a hot topic in recommender systems, which 


can solve data sparsity and cold-start problems to some extent. However, most of the existing modeling methods of combines 


metadata are based on the same user / item attribute weights, so that the key relationships between users and items are not 


b A a significant, and it is difficult to obtain better recommendation performance. To solve the above problems, this paper proposes a 


method of deep joint learning recommendation based on metadata and attention mechanism. It uses double deep network learning, 


one of the networks implements matrix nonlinear decomposition based on implicit feedback data to learn user/project 
personalization relationships. , and another network automatically capture affect the user/item key attributes to recommend by 
using Attention mechanism, through the user preference relation with weights of different attributes modeling highlights the 
extended model. Experimental results show that the proposed recommendation algorithm has better recommendation 
performance on two public datasets of MovieLens 100K and MovieLens 1M. 


Key words: metadata; attribute weight; Attention mechanism; deep joint learning; nonlinear factorization 
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和 冷 启 动 问题 。 如 Fu 等 人 四 从 不 同 视角 度量 元 数据 中 用 户 / 项 
推荐 系统 是 通过 估 测 用 户 需求 来 缓解 信息 超载 问题 的 一 种 昌 洪 在 的 个 性 化 关系 ， 利 用 这 种 关系 扩展 矩阵 分 解 模型 以 实现 
技术 ， 被 广泛 应 用 在 新 闻 网 站 、 社 交 媒 体 及 电子 商务 等 领域 。 推荐 ，Li 等 人 品 提 出 物品 耦合 关系 的 相似 性 计算 方法 ， 然 后 将 
国 专家 Resnick 于 1997 率先 提出 “推荐 系统 ”这 一 概念 ,之 “其 整合 到 矩阵 分 解 方法 以 提升 推荐 性 能 。 但 以 上 已 有 的 方法 均 
推荐 系统 在 学 术 界 和 工业 界 均 引 起 巨大 的 关注 ， 相 继 不 同 的 遇 于 浅 层 模型 ， 不 能 发 现 更 为 抽象 的 复杂 交互 关系 。 
E 荐 机 制 被 研究 者 提出 ,并 成 为 推荐 系统 学 术 领 域 的 研究 热点 。 而 如 今 利 用 深度 学 习 技术 建立 深层 模型 已 广泛 地 应 用 在 推 
在 现存 方法 中 ， 协 同 过滤 推 荐 已 经 被 广泛 研究 和 扩展 ， 如 ”” 荐 系统 领域 中 ， 它 可 以 有 效 地 捕获 非 线性 和 复杂 的 用 户 / 项 目 关 
Koren, Paterek, Lee 等 人 0 提出 的 基于 传统 的 矩阵 分 解 模型 ” 系 以 表示 更 复杂 、 抽 象 的 数据 结构 。 如 Chang 等 人 中 人 通过 在 
的 协同 过 滤 算 法 。 此 后 研究 人 员 还 试图 通过 元 数据 建 模 以 扩展 ” 传统 的 协同 过 滤 算 法 中 应 用 神经 网 络 算法 达到 了 提高 推荐 质量 
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录用 稿 KAR, F: 融合 元 数据 及 Attention 机 制 的 深度 联合 学 习 推 荐 
的 目的 。 文 献 中 的 CCCFNet 也 是 双 网 络 (协同 过 滤 和 内 容 信 户 /项 目 个 性 化 关系 ， 另 一 个 利用 Attention 机 制 自 动 捕 捉 用 户 / 
息 ) 由 ， 它 模拟 用 户 项 目 之 间 的 相互 作用 在 顶层 的 点 积 实 现 推 项 目 关 键 属性 对 推荐 工作 的 影响 ， 通 过 赋予 不 同属 性 动态 权重 
荐 工作 。Guo 等 人 外 是 一 个 无 颖 集成 的 分 解 机 和 MLP 的 端 到 端 凸显 用 户 偏 好 关系 ， 能 有 效 地 挖掘 出 属性 有 用 的 隐 含 特征 ， 从 
的 模型 。 它 通过 因子 分 解 机 利用 深层 神经 网 络 和 低 阶 相互 作用 [减少 特征 元 余 、 盲 目 交互 等 带 来 的 消极 影响 。 本 文 算法 在 
对 高 阶 特征 相互 作用 进行 建 模 。He 等 (9 也 利用 多 层 深度 网 络 a E T 
替代 矩阵 线性 分 解 机 制 实现 非 线性 分 解 ， 一 定 程度 地 解决 了 线 结果 表明 所 提出 的 算法 均 表 现 出 较为 优越 的 推荐 性 能 。 
性 MF 的 局 限 性 。 但 上 述 几 种 模型 捕捉 的 是 全 部 属性 间 的 交互 ， — 
P i 1 ”算法 概述 
但 在 实际 应 用 中 ， 部 分 交互 是 没有 必要 的 。 例 如 图 1 所 示 ， 学 
习 用 户 /项 目 群体 划分 时 ， 用户 职业 、 项 目 类 别 等 是 关键 的 划分 融合 元 数据 及 Attention 机 制 的 深度 联合 学 习 推 荐 算法 ( 简 
特征 ， 而 性 别 、 地 域 等 信息 是 非 重 要 划分 成 分 。 男 一 个 方面 ， KW DJRMAO 是 将 Attention 网 络 特征 学 习 推 理 和 深度 网 络 分 解 
以 上 现 有 的 融合 元 数据 建 模 方法 大 多 数 建立 于 用 户 /项 目 属性 ” 机 相 结 合 ， 通 过 学 习 个 性 化 关系 及 挖 气 元 数据 隐 含 关系 来 提升 
权重 相同 的 情景 下 ， 即 属性 的 值 从 模型 的 开始 训练 到 结束 都 是 推荐 模型 的 性 能 。 如 图 2 所 示 ， 左 侧 分 解 机 制 网 络 模型 基于 隐 
不 变 的 ， 忽视 了 用 户 / 项 目 不 同 属性 对 推荐 工作 的 影响 ， 以 致 于 反馈 数据 且 利 用 深度 网 络 代替 矩阵 线性 分 解 实现 非 线 性 分 解 ， 
用 户 项 目 间 重 点 关系 表达 不 显著 ， 大 大 地 降低 了 推荐 模型 的 性 以 学 习 用 户 /项 目的 个 性 化 偏好 。 右 侧 模型 利用 Attention. 机 制 
能 。 因 此 研究 人 员 逐 渐 认 清 无 论 模型 是 如 何 构建 的 ， 属 性 都 在 自动 捕捉 用 户 /项 目 关键 属性 对 推荐 工作 的 影响 , 通过 赋予 不 同 
其 中 起 着 决定 性 的 作用 。 属性 权重 凸显 的 用 户 偏好 关系 建 模 辅助 扩展 模型 。 其 核心 思想 
是 在 原 有 的 用 户 /项 目 交 互 矩阵 基础 上 加 上 已 排除 干扰 噪声 的 
4 mM 用 户 个 性 化 向 量 与 项 目 个 性 化 向 量 乘积 重 构 后 的 用 户 /项 目 交 
AQG OON HIERE, HET R IKA 26 AE P SE EE o 
d cuf, : | 
o 人 e A r ££ | S Y predict 
IW N SA G JL / Top Layer 
MM. Lew. E E 
图 1 不 同属 性 占 比 影响 cis EET 
近 些 年 ，Attention 网 络 被 研发 并 逐渐 成 为 捕获 全 局 信息 的 
技术 手段 。 因 此 ， 基 于 Attention 机 制 的 神经 网 络 在 各 个 领域 成 —— T. 
为 一 个 热点 ， 是 解决 上 述 问题 的 有 效 方法 之 一 。 如 Luong SUU Layer 1 Layari 
在 自然 语言 处 理 领域 使 用 Attention. 机 制 对 所 有 词 分 配 不 同 权 L^ PR 
值 实现 翻译 工作 。google mind 团队 0 在 计算 机 视觉 领域 使 用 LA A —Á 
Attention 机 制 自动 捕捉 图 像 局 部 特征 实现 图 像 分 类 。 文 献 [13] i ee 
提出 一 种 基于 注意 力 机 制 的 融合 性 深度 神经 网 络 , 将 Twitter 和 
用 户 兴趣 之 间 的 用 户 、 作 者 、 用 户 兴趣 相似 性 信息 融合 作为 学 n —— 一 人 
习 属性 实现 预测 用 户 的 转发 行为 。 但 基于 attention 机 制 的 应 用 i eat ap [nm 
在 推荐 领域 中 却 少 之 又 少 。 接 下 来 ， 我 们 将 这 种 思想 应 用 于 推 
荐 系统 领域 中 ， 即 假设 用 户 具有 五 个 属性 值 el、e2、e3、e4、 加 2” 本文 推荐 算法 实验 模型 
e5， 它 们 对 推荐 作用 的 权重 为 w1、w2、w3、w4、w5， 在 不 加 1.1 深度 分 解 机 制 
入 attention 情况 下 , 权重 wl~w5 是 相同 的 , 则 总 体 的 影响 作用 深度 分 解 机 制 是 基于 隐 式 反馈 数据 利用 多 层 深度 网 络 蔡 代 
为 el*wlte2*w2te3*w3+te4*w4te5*w5。 反 之 加 入 时 ，, attention ”和 矩阵 线性 分 解 机 制 实 现 非 线 性 分 解 ， 以 学 习 用 户 项 目的 个 体 个 
模型 根据 数据 学 习 出 当前 用 户 的 属性 的 对 当前 推荐 的 不 同 影响 性 化 关系 。 底 部 输入 层 分 别 由 描述 用 户 & 和 项 目 i 的 两 个 特征 
因子 m1、m2、m3、m4、m5， 最 后 总 体 的 影响 作用 向 量 组 成 ， 它 们 可 被 定制 以 支持 用 户 和 项 目的 广泛 建 模 。 在 本 
el*ml*wl+e2*m2*w2+e3*m3*w3+e4*m4*w4+e5*m5*w5. 文中 ， 为 了 更 方便 说 明 问题 ， 我 们 只 采用 用 户 /项 目 ID 作为 输 
据 此 , 本 文 提 出 融合 元 数据 及 Attention 机 制 的 深度 联合 学 入 通用 特征 ， 而 模型 根据 实际 可 以 有 不 同 的 输入 。 其 次 ， 输 入 
习 推 荐 方法 , 将 新 型 Attention 网 络 特征 学 习 推 理 和 深度 网 络 分 Em EAGÉBONE. udi] 3 所 示 其 将 用 户 /项 目 ID Boii m 
解 机 功能 相 结合 ， 形 式 化 用 于 协同 过 滤 的 建 模 方法 来 解决 上 述 量 映射 成 稠密 向 量 , 获得 到 的 用 户 /项 目 特征 向 量 可 以 被 看 作 在 
研究 问题 。 我 们 通过 利用 双 深 度 网 络 联合 学 习 实现 预测 推荐 ， 潜在 因素 模型 上 下 文中 用 户 / 项 目 潜在 的 特征 。 


其 中 一 个 网 络 基于 隐 式 反馈 数据 实现 矩阵 非 线性 分 解 以 学 习 用 
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因此 ， 定 义 深度 分 解 模 型 如 下 : 
3 = rv? wlp.e) 0) 

其 中 : U e RM*K RI pe RYK 分 别 表示 用 户 和 项 目的 潜在 因 
素 和 矩阵 ，M 、WN 和 天 为 用 户 、 项 目 和 潜在 特征 数量 ;0 表示 
了 函数 的 模型 参数 。 接 下 来 ， 稀 玻 向 量 用 户 《〈 项 目 ) ID 通过 
握 入 层 映射 成 稠密 向 量 ， 即 用 户 / 项 目的 特征 向 量 。 我 们 使 用 


VL RU V/ 分 别 为 用 户 u 和 项 目 i 的 特征 向 量 。 其 前 向 过 程 为 

V 

sce Itm Q) 
V; 
T , 

vX(a)- obw; a b) , (3) 

( )- ( T D, ) 4 

Vg zg a)7 0Wg ZH- t bg (4) 


其 中 : HERRE, O0 是 激活 函数 。zH 、Wi 和 bj ER H 
层 的 输出 、 模 型 权重 和 偏 置 项 。 经 过 工 层 网 络 学 习 后 ， 最 终 左 
网 横 型 的 映射 函数 为 


Sii m (wir (zia ) 


T r| VE 
Wr. -o| W vi tb |... | | + 
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1.2 ”基于 Attention 特征 学 习 推理 机 制 

Attention model (注意 力 模型 ) 是 一 种 模拟 人 脑 注意 力 的 模 
型 ， 即 在 特定 的 时 刻 人 脑 对 事物 的 注意 力 会 集中 在 某 一 特定 的 
地 方 ， 忽 略 其 他 部 分 的 特点 ， 是 一 种 人 脑 资源 分 配 的 模型 。 它 
是 对 重要 部 分 分 配 较 多 的 注意 力 ， 对 于 其 他 部 分 分 配 较 少 的 注 
意 力 ， 合 理 利 用 人 脑 的 计算 资源 ， 并 且 还 可 以 去 除非 关键 因素 
对 人 脑 的 影响 。 本 文 引入 这 种 思想 ， 利 用 Attention 机 制 自动 捕 
3 户 / 项 目 关 键 属性 对 推荐 工作 的 影响 , 通过 赋予 不 同属 性 权 
重 来 凸显 用 户 偏 好 关系 ， 然 后 通过 多 层 深 度 网 络 建 模 来 辅助 扩 
展 上 述 非 线性 分 解 模 型 ， 有 效 地 防止 元 数据 隐 含 信息 的 丢失 。 
寺 征 学 习 推理 机 制 将 用 户 属 性 
特征 表示 为 one-hot 编码 形式 向 量 ， 并 输入 到 Attention 网 络 中 
自动 捕 扣 用户/ 项 目 关 键 属性 ， 并 推理 出 对 推荐 工作 的 影响 度 。 
本 文 实验 中 使 用 电影 ID 作为 输入 , 用 户 属性 则 利用 性 别 、 年 龄 
及 职业 信息 作为 输入 。 假 设 使 用 Vr 用 户 4 WREE, A K 


—0| 


如 图 4 所 示 , 基于 Attention 
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=, M 是 用 户 的 数量 。 
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Attention Layer 
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其 中 8 表示 用 户 属性 数 


图 4 基于 Attention 局 部 特征 学 习 推理 机 制 
如 图 5 所 示 ， 可 定义 编码 隐 状 态 Un hr, ) 和 解码 隐 状 态 
(dl... dr, = 上 在 输入 的 用 户 g 个 属性 上 , 为 了 
计算 每 个 输出 时 间 + 的 注意 力 权重 的 属性 影响 因子 矩阵 ， 定 义 
为 
ef = f (hd) =v, tanW, h; + Wod,) (6) 
07) 


EP: /表示 一 种 模式 函数 ，Wa ， 


Wp, v 是 模型 的 学 习 参 


数 。 向 量 e 的 长 度 是 ，( 即 输入 的 用 户 属性 数量 ) 以 及 它 的 第 


i 项 包含 一 个 有 多 少 注意 力 应 该 放 在 第 i 个 编码 隐藏 ) 


RAS hy É: 


然后 使 用 softmax 标准 化 ， 得 到 属性 Aui E t ZIRIA 
后 求 和 形成 权重 分 配 向 量 ， 即 


lim] 


wa(z21)= o(w? a i5) 
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其 中 : 五 是 层 的 深度 ，o 是 激活 函数 。zp 、Wh 和 bh E H 
层 的 输出 、 模 型 权重 和 偏 置 项 。 经 过 工 层 网 络 学 习 后 ， 最 终 右 
出 模型 的 映射 函数 为 


和 =alwr(zr 1) (12) 
模型 框架 顶层 输入 来 自 于 两 侧 模型 的 输出 。 由 此 ， 我 们 定 

义 联合 预测 函数 为 
$=0( ui *ü-a)*u) (13) 


其 中 : e 是 决定 双 深 度 模型 间 训 练 权重 的 参数 ， 通 过 深度 模 

型 自学 习 获得 。 算 法 将 推荐 问题 形式 化 一 个 多 分 类 问题 来 实现 
平分 预测 。 采 用 Softmax 函数 作为 最 终 的 激活 函数 Oout 以 及 利 
多 分 类 对 数 损失 来 学 习 。 通 过 上 面 所 述 设置 ， 我 们 定义 似 然 


函数 为 
Plo.o-v.1.e)- Los [ [a5 (14) 


(u,i)EO  (ui)eO 
其 中 : O 表示 用 户 交 互 集中 可 观察 到 的 一 组 交互 集合 〈 作 为 
正 实例 ) , O- 为 均匀 地 从 未 观察 到 的 交互 集中 取样 的 一 组 集合 
〈 作 为 负 实例 ) 。 将 上 式 取 似 然 负 对 数 作为 损失 函数 可 得 


L-- >》 yulog Sui * (L- yni logh- Sui) 
(IDEOUwO 


x 


— 


(15) 


2 ”实验 及 结论 分 析 


2.1 实验 数据 集 

前 ， 对 于 推荐 领域 已 经 有 很 多 公开 的 研究 。 为 了 验证 本 
文 提出 的 融合 元 数据 及 Attention 机 制 的 深度 联合 学 习 推 荐 筑 

法 的 性 能 ， 将 在 实验 使 用 MovieLens 100K 和 MovieLens 1M 

两 个 公开 数据 集 作 为 实验 数据 集 09。MovieLens 数据 集 由 美 
国明 尼 苏 达 大 学 计算 机 科学 与 工程 学 院 GroupLens 研究 组 提 
中 每 个 用 户 至 少 对 20 个 电影 进行 评分 ， 数 据 稀 疏 程度 
H 0.9553 ， 并 还 提供 了 用 户 职业 、 电 影 流派 等 
辅助 . MovieLens 100K 包含 943 名 用 户 、1682 部 电影 、 
19 种 电影 流派 以 及 10 万 个 5 星 级 评价 。1M 数据 集 包 含 6040 
名 用 户 、3952 部 电影 、18 种 电影 流派 以 及 100 万 个 5 星 级 评 
价 。 除 此 之 外 ， 还 提供 了 用 户 职业 、 性 别 等 辅助 信息 。 虽 然 隐 
式 反 馈 信 息 要 比 显 式 反馈 信息 更 容易 获取 ， 但 由 于 目前 基于 隐 
式 反馈 信息 并 且 具 有 用 户 元 数据 信息 的 公开 数据 集 比较 少 ， 因 
此 本 文 仿照 目前 常用 的 方法 如 文献 [15,16] 将 显 式 评 级 数据 转换 
成 隐 式 数据 。 
2.2 评估 方法 

本 文 所 提出 的 算法 利用 深度 网 络 实现 多 分 类 的 评分 预测 工 
作 。 而 目前 推荐 领域 中 被 用 来 度量 评分 预测 工作 质量 有 很 多 不 
同 的 度量 指标 。 为 了 评价 项 目 推荐 的 性 能 ， 我 们 采用 了 leave- 
one-out 方法 评估 ， 这 种 top-K 评价 方法 已 被 广泛 地 应 用 于 文献 
[17-19]. 实验 中 根据 时 间 惟 随机 抽取 100 个 不 与 用 户 进行 交互 
的 项 目 ， 将 测试 项 目 排列 在 这 100 个 项 目 中 。 排 名 列表 的 性 能 
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命中 率 CAR) 和 归 一 化 折扣 累积 增益 (NDCGO 08 来 衡量 。 
若 无 特 别 说 明 ， 我 们 将 这 两 个 指标 的 排名 列表 截断 天 均 为 10。 

命中 率 HR 能 直观 地 衡量 测试 项 目 是 否 存 在 于 前 10 项 列 
KH, 而 NDCG 是 用 来 衡量 排序 质量 的 指标 , 通过 将 较 高 分 数 
指定 为 顶级 排名 来 计算 命中 的 位 置 。HR 与 NDCG 定义 如 下 : 
命中 率 HR) 


Number of Hit@K 


HR@K = cr] (16) 
归 一 化 折扣 累积 增益 (NDCG) 
K "nd 
Scop n) a7 
其 中 : GT 表示 测试 项 目 与 算法 产生 排名 列表 的 集合 ，Zxk 是 正 
ME, Uf iHd PER TP ETE HR T, n 是 第 i 个 项 目的 评级 


相关 性 。 在 评估 过 程 中 我 们 使 用 简单 的 二 进 制 进行 表示 : 如 果 
项 目 在 测试 集 志 =1， 和 否则 为 0。 
23 ”实验 环境 及 参数 设置 
为 了 说 明 本 文 所 提 融 合 元 数据 及 Attention. 机 制 的 深度 联 
合 学 习 推荐 模型 的 优越 性 ， 本 次 实验 在 Cluster 一 个 node 上 实 
现 了 所 提出 的 算法 (实验 环境 如 表 1 所 示 ) 。 同 时 将 其 与 以 下 
具有 代表 性 的 经 典 模型 进行 实验 对 比 。 
alCBMFE1: 内 容 加 强 矩 阵 分 解 模型 ,此 模型 将 元 数据 信 ， 
直接 加 入 到 矩阵 分 解 模型 中 。 
b)NeuMF00: 基于 神经 网 络 协同 过 滤 方 法 ， 对 比 辅助 信息 
对 推荐 效果 的 影响 ; 


c)ItemKNNU?2; 标准 的 基于 项 


ED 


的 协同 过 滤 方 法 。 


dd 实验 环境 


软 硬 件 环境 环境 配置 
操作 系统 Linux 
主 频 3.5GHz 
内 存 96.00GB 
编程 语言 Python 3.5 
深度 学 习 库 Tensorflow1.2.0、 Keras2.0.5 
2.4 实验 结果 及 分 析 
为 了 确定 参数 ， 本 文采 用 5 折 交 叉 验 证 ， 使 用 了 项 目 属性 


已 影 流 派 及 用 户 属性 性 别 、 年 龄 及 职业 等 信息 ， 将 正 例 以 及 对 
每 个 正 例 进行 四 个 负 实例 的 均匀 采样 作为 输入 。 此 后 再 通过 多 
分 类 对 数 损失 函数 来 评估 。 模 型 从 零 开 始 训练 ， 学 习 率 设置 为 
0.001， 并 利用 Adam 经 过 偏 置 校正 后 每 一 次 迭代 学 习 率 都 有 个 
确定 范围 以 臻 于 使 得 参数 趋 于 平稳 的 优点 优化 模型 。 网 络 模型 
设计 遵循 塔 式 网 络 结构 ， 每 个 连续 较 高 层 的 层 尺寸 减 半 ， 层 的 
结构 为 128 一 64 一 32。 中 间 层 激活 函数 选择 ReLU， 因为 它 支 持 
稀疏 激活 ， 使 模型 不 太 容 易 过 拟 合 。 首 先 ， 我 们 对 本 文 模型 的 
推荐 性 能 进行 了 评测 ， 最 终 实验 结果 如 表 2 所 示 。 
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表 1 在 MovieLens 数据 集 上 实验 对 比 CK-100 其 次 ， 实 验 改 变 层 的 结构 来 评测 性 能 ， 即 相当 于 改变 矩阵 
DataSet\Metries 分 解 维 度 。 由 图 6 与 图 7 可 知 ，DJRMA 模型 通过 增强 关键 属 
Model MovieLens 100K MovieLens IM 性 影响 因子 使 得 推荐 性 能 指标 HR 及 NDCG 进一步 增长 。 在 后 
HR NDCG HR NDCG 等 设置 情况 下 ，100K 数据 集 Factors 为 32 时 的 HR 相 比 于 
NeuMF 0.672 0.384 0.705 0.423 NeuMF, CBMF 和 ItemKNN 分 别提 升 1.9%, 8.396511 13.2%, 
ItemKNN 0.605 0.328 0.625 0.362 NDCG 也 提升 4.6%、9.5% 和 22.5%。 同样 通过 图 8 和 图 9 分 析 
CBMF 0.632 0.367 0.679 0.393 可 知 ， 对 于 在 1M 数据 集 上 ，HR 相 比 于 NeuMF,. CBMF 和 
DJRMA 0.685 0.402 0.712 0.428 ItemKNN 分 别提 升 0.9%、4.8% 和 13.9%, NDCG 也 提升 1.1%、 
NovieLens 100K 8.9% 和 18.2%。 因 此 ， 推 荐 算法 比 基 线 方法 表现 出 较为 优越 的 


推荐 性 能 
此 外 , 再 次 比较 图 6 与 图 8、 图 7 与 图 9 可 知 , DIRMA 推 
荐 模型 的 推荐 指标 在 LM 数据 集 上 较 优 越 于 100K。HR 和 NDCG 
提升 了 3.9% 和 6.4%。 所 以 由 于 训练 集 增 大 以 及 样本 的 不 平衡 
性 , DJRMA 能 表现 出 较 强 的 学 习 能 力 , 但 总 体 提升 率 降低 , 说 
明 样 本 不 平衡 性 等 问题 对 模型 具有 一 定 的 影响 。 
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10 显示 在 MovieLens 1M 数据 集 下 不 同 迭 代 次 数 的 迭 
代 损 失 。 模 型 利用 隐 式 反馈 实现 二 进 制 分 类 推荐 工作 ， 我 们 通 
过 训练 对 数 损失 获取 最 优 的 模型 参数 。 由 图 可 知 ， 随 着 模型 迭 
代 次 数 的 增加 ， 模 型 训练 损失 依次 逐渐 减 小 ， 直 至 稳定 。 实 验 
中 最 有 效 的 迭代 次 数 约 为 10-20 次 左右 。 在 后 续 MovieLens 
ZA DIRMA 100K 实验 中 ,我 们 也 发 现 其 变化 趋势 与 1M 类 似 , 并 且 更 多 的 
——— muc ih SEV rae ER ox ps SI E eie e mien 
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图 8 1M 数据 集 一 命中 率 
aasi 本 文 将 新 型 Attention 网 络 特征 学 习 推 理 和 深度 网 络 分 解 
0.44 


机 功能 相 结合 , 提出 融合 元 数据 及 Attention 机 制 的 深度 联合 学 
习 推 荐 方法 , 其 一 实现 矩阵 非 线性 分 解 以 学 习 用 户 /项 目 个 性 化 
关系 ， 男 一 个 利用 Attention 机 制 自动 捕捉 用 户 / 项 目 关键 属性 
对 推荐 工作 的 影响 ， 通 过 赋予 不 同属 性 权重 凸显 的 用 户 偏 好 关 
系 建 模 来 扩展 模型 。 该 算法 通过 形式 化 用 于 协同 过 滤 的 建 模 方 
Ein 法 来 解决 推荐 问题 。 最 终 通 过 双 深 度 网 络 联合 学 习 实 现 评分 预 
测 。 最后， 本 文 算法 在 MovieLens 100K 和 1M 两 个 公开 数据 集 
上 进行 验证 。 实 验 结果 表明 的 推荐 算法 比 基 线 方法 不 仅 
仅 表现 出 了 较为 优越 的 推荐 性 能 ， 而 且 在 学 习 效 率 上 也 相差 较 
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在 未 来 工作 中 ， 将 考虑 引入 更 为 丰富 
挖掘 交叉 属性 间 对 关系 表达 的 影响 因子 以 改进 算法 使 得 推荐 质 
量 提 高 。 另 外 ， 仍 考虑 利用 残 差 网 络 、 卷 积 网 络 或 其 它 深度 模 
型 户 ] 构 建 更 合理 的 推荐 框架 以 综合 利用 不 同 抽象 级 别 的 特征 ， 
是 目前 推荐 领域 研究 的 热点 。 
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